実況ツイートメモ 継続的なモデルモニタリングを実現するKubernetes Operator
スライドのスクショがあるのでリンク先確認オススメ(まとめ感)
聴講時のメモも追加していく(スライドと合わせて見返したい狙い)
訓練に使ったデータの分布がある
時間の経過ともにモデルの性能は下がっていく
性能が下がったモデルはビジネス機会の損失
feature drift
prediction drift
label drift
特徴量、予測、正解の3つが変わる可能性がある!
マネージド
モニタリングに必要な仕組みを一括提供
社内のデータソース対応
検定:基準にした点と現在のデータの分布を比較する
学習に使ったデータ
サーブで入力されたデータ
feature drift
servingシステムと連携しなくても可能
servingシステムとの連携追加でできる検定増える
prediction drift
servingシステムとの連携必要
データサイエンティストが書くのは、以下だけ
クエリ(学習データを取り出すクエリ)
スケジュール